課程資訊
課程名稱
類神經網路
Neural Networks 
開課學期
107-1 
授課對象
學程  神經生物與認知科學學程  
授課教師
劉長遠 
課號
CSIE5052 
課程識別碼
922 U1180 
班次
 
學分
3.0 
全/半年
半年 
必/選修
選修 
上課時間
星期三7,8,9(14:20~17:20) 
上課地點
資101 
備註
限學士班三年級以上
總人數上限:80人 
Ceiba 課程網頁
http://ceiba.ntu.edu.tw/1071CSIE5052_ 
課程簡介影片
 
核心能力關聯
核心能力與課程規劃關聯圖
課程大綱
為確保您我的權利,請尊重智慧財產權及不得非法影印
課程概述

Neural Networks
Syllabus:
Foundation
Perceptron
Multi-Layer Perceptron (MLP)
Hopfield model
Elman Network
Self-Organizing Map (SOM)
Reinforcement learning (RL)
Textbook:
Lecture notes on Neural Networks, Cheng-Yuan Liou

Class Websites:
http://red.csie.ntu.edu.tw/NN/
http://www.csie.ntu.edu.tw/~cyliou/red/
兩個網站有同樣資料 

課程目標
Auto classification, recognition, learning 
課程要求
Basic Calculus 
預期每週課後學習時數
 
Office Hours
另約時間 備註: Office hour 要預約  
指定閱讀
class websites

Office hour 要預約  
參考書目
http://red.csie.ntu.edu.tw/NN/
and
http://www.csie.ntu.edu.tw/~cyliou/red/
兩個網站有同樣資料 
評量方式
(僅供參考)
 
No.
項目
百分比
說明
1. 
作業 + 一次測驗 + 出席 + project 
100% 
 
 
課程進度
週次
日期
單元主題
第1週
9/12  101 教室上課。 Chapter 1 + Chapter 2
請修課的同學到場簽名  
第2週
9/19  Chapter 4
MLP + NetTalk  
第3週
9/26  Chapter 4 + MLP + NetTalk + portion of Chapter 5 
第4週
10/03  rest of Chapter 5 MLP kernel
Tiling algorithm code and .ppt in NN/ website
Boltzmann machine
https://www.csie.ntu.edu.tw/~cyliou/red/publications/ICONIP2008/ICONIP2008_86_ppt.pdf
https://www.csie.ntu.edu.tw/~cyliou/red/publications/ICONIP2008/ICONIP2008_87_ppt.pdf 
第5週
10/10  no class 
第6週
10/17  more on tiling algorithm + SIR kernel + MLP tree + Chapter 3&4&5
restricted Boltzmann machine + Hinton's deep learning 
第7週
10/24  Reinforcement learning
Neuronlike adaptive elements that can solve difficult learning control problems
AG Barto, RS Sutton, CW Anderson
IEEE transactions on systems, man, and cybernetics, 834-846, 1983 
第8週
10/31  Reinforcement learning  
第9週
11/07  Elman network
Elman, Jeffrey L. (1990). "Finding structure in time." Cognitive Science, 14, pp. 179-211
Autoencoder for words, 2014
https://www.lsv.uni-saarland.de/fileadmin/teaching/seminars/ASR-2015/DL-Seminar/Autoencoder_for_Words.pdf 
第10週
11/14  Elman networks
Segmentation of DNA Using Simple Recurrent Neural Network,
https://www.sciencedirect.com/science/article/abs/pii/S0950705111002024 
第11週
11/21  Self-organizing map
http://www.cis.hut.fi/somtoolbox/theory/somalgorithm.shtml
https://sci2s.ugr.es/keel/pdf/algorithm/articulo/1990-Kohonen-PIEEE.pdf 
第12週
11/28  Self-organizing map
 
第13週
12/05  Hopfield network
Chapter 6
https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html
plus
https://www.csie.ntu.edu.tw/~cyliou/red/ 
第14週
12/12  Hopfield network
Chapter 6 plus
https://www.csie.ntu.edu.tw/~cyliou/red/ 
第15週
12/19  SIR-SOM in Chapter 5
https://www.csie.ntu.edu.tw/~cyliou/red/publications/ICONIP2008/ICONIP2008_86_ppt.pdf

SOM application-pattern recognition
J.10. Cheng-Yuan Liou and Hsin-Chang Yang (1996). Handprinted character recognition based on spatial topology distance measurement. IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.18, no.9, pages 941-945. SCI&EI, tutorial package, usage
https://www.csie.ntu.edu.tw/~cyliou/red/hcr_std/usage.html 
第16週
12/26  More on Chapter 5 (Supplementary material ppt)
https://www.csie.ntu.edu.tw/~cyliou/red/publications/2017/Loading%20Discriminative%20Feature%20Representations%20in%20Hidden%20Layer.pdf


Complexity

Structure sensitive complexity for symbol-free sequences
https://applied-informatics-j.springeropen.com/articles/10.1186/s40535-015-0011-9

DNA complexity
https://www.hindawi.com/journals/cmmm/2013/628036/
 
第17週
1/02  課堂測驗